home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / infosrvr / dev / www_talk.930 / 001510_daemon _Wed Jun 30 20:42:29 1993.msg < prev    next >
Internet Message Format  |  1994-01-24  |  2KB
  1. Received: by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  2.     id AA10057; Wed, 30 Jun 93 20:42:31 MET DST
  3. Return-Path: <mkgray@athena.mit.edu>
  4. Received: from dxmint.cern.ch by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  5.     id AA10053; Wed, 30 Jun 93 20:42:29 MET DST
  6. Received: from ATHENA-AS-WELL.MIT.EDU by dxmint.cern.ch (5.65/DEC-Ultrix/4.3)
  7.     id AA28458; Wed, 30 Jun 1993 21:05:52 +0200
  8. Received: from URANUS.MIT.EDU by Athena.MIT.EDU with SMTP
  9.     id AA09253; Wed, 30 Jun 93 15:05:51 EDT
  10. From: mkgray@athena.mit.edu
  11. Received: by uranus.MIT.EDU (AIX 3.2/UCB 5.64/4.7) id AA25385; Wed, 30 Jun 1993 15:05:47 -0400
  12. Message-Id: <9306301905.AA25385@uranus.MIT.EDU>
  13. To: joe@athena.mit.edu
  14. Cc: www-talk@nxoc01.cern.ch
  15. Subject: Re: searchable index of the web 
  16. In-Reply-To: Your message of Wed, 30 Jun 93 01:39:29 -0400.
  17.              <9306300539.AA20609@theodore-sturgeon> 
  18. Date: Wed, 30 Jun 93 15:05:45 EDT
  19.  
  20. I have written a perl script that wanders the WWW collecting URLs, keeping
  21. tracking of where it's been and new hosts that it finds.  Eventually,
  22. after hacking up the code to return some slightly more useful information
  23. (currently it just returns URLs), I will produce a searchabe index of this.
  24. There is a complete list of all the sites it has found at
  25.  
  26. <a href="http://www.mit.edu:8001/afs/sipb/user/mkgray/ht/comprehensive.html">
  27. A complete list of sites found by the W4 (World Wide Web Wanderer)
  28. </a>
  29.  
  30. I'll announce here when we get this index properly running, however it probably
  31. won't be until sometime in August, as I am going on vacation.  Until then...
  32.  
  33.                     Matthew Gray
  34.                     mkgray@athena.mit.edu
  35.  
  36. Visit the SIPB WWW Plexus Server.  URL: http://www.mit.edu:8001/